Nota de editor: dada a extensão do presente texto, o mesmo é publicado em 3 partes, hoje a segunda.
Seleção e tradução de Júlio Marques Mota
8 min de leitura
Texto 21 – – Onde está o limite? É um limite absurdo: rumo a um quadro para utilizações aceitáveis de IA em avaliações (2/3)
Por Thomas Corbin, Philip Dawson, Kelli Nicola-Richmond e Helen Partridge
Publicado por 
em 24 de Janeiro de 2025 (original aqui)
(Continuação)
Identificando limites análogas
Vários professores e alunos ofereceram comparações análogas nos seus raciocínios sobre o uso apropriado da IA generativa (GenAI) em avaliações, fazendo paralelos com tecnologias e práticas já existentes. Um aluno, por exemplo, afirmou: *”É muito parecido com o Grammarly, tipo, ninguém nunca diz que usa o Grammarly, porque é visto como uma ferramenta aceite”. (P03) Os professores também procuraram comparações existentes e chegaram ao Grammarly: “Se isso te está a ajudar a reformular um pouco o teu inglês, não acho que seja um grande problema, porque hoje em dia há muitas outras ferramentas, como, por exemplo, a assinatura do Grammarly. (A03) Outro professor (A06) afirmou de forma semelhante:
Mas nós… mas nós somos bem diretos com eles, dizendo que sabemos que vocês vão usar, na verdade, provavelmente deveriam […] Então, dizemos: sabe, se você não a tem certeza de como formular algo, coloque isso no ChatGPT e peça para que faça a sua crítica, nós incentivamos isso — e o mesmo com o uso do Grammarly. Dizemos algo como; se o Grammarly tem uma sugestão sobre como a frase deveria ser, olhe para ela, pense sobre isso e, se achar que funciona, siga em frente — ele foi feito para ajudar.
Para este professor, a linha entre o aceitável e o inaceitável estava no mesmo lugar tanto para o ChatGPT quanto para o Grammarly: usar para obter retorno. mas não como substituto do próprio trabalho. Outros fizeram analogias semelhantes com tecnologias já existentes. Por exemplo, ao ser questionado sobre o que considerava um uso aceitável, um estudante (P09) afirmou: ‘Acho que, se for apenas para coisas como revisão de texto. Bem, tudo bem. Porque, quero dizer, coisas como o corretor ortográfico fazem coisas parecidas’. Diante da falta de uma linha clara, parece evidente que tanto estudantes como professores recorrem a tecnologias análogas com limites já estabelecidos.
Quando estudantes e professores se referiam a limites já estabelecidos nas suas discussões sobre IA, as suas principais preocupações frequentemente estavam centradas na avaliação, em vez de questões mais amplas sobre currículo ou conceção educativa. Esse foco na avaliação talvez não seja surpreendente, já que é o ponto em que o uso da IA é mais explicitamente regulado, onde o trabalho dos alunos é formalmente julgado e onde questões de justiça, integridade e autoria são mais imediatas e impactantes. Essa incerteza quanto aos limites na avaliação deixou muitos sem saber como agir.´
Limites e estrutura de avaliação
A ausência de uma linha clara, para alguns professores, significava que eles se sentiam incapazes de responder ao desafio da IA generativa (GenAI), o que, para eles, implicava redesenhar adequadamente os seus métodos de avaliação. Por exemplo, um professor disse-nos: “Não fiz absolutamente nada em termos de práticas de avaliação porque não tenho a menor ideia. (A04)” Outros professores fizeram afirmações semelhantes:
Eu defini as tarefas, as nossas tarefas não mudaram muito […] Suponho que nós obscurecemos o problema, sabem, ignoramo-lo de alguma maneira, porque isso me parece ser, essa é também a política da universidade neste momento: se não falarmos sobre isso, vamos fingir que nada está a acontecer e apenas iremos lidar com cada caso individualmente, se surgir alguma questão de integridade académica. (A01)
Alguns estudantes pareciam cientes desse desafio, afirmando, por exemplo, que:
Acho que é muito difícil construir uma avaliação, a menos que se esteja fisicamente com os alunos na sala de aula, para que se veja, digamos, o que é que eles estão a fazer. É muito difícil monitorizar, porque, sabe, o objetivo da IA generativa é justamente fazer tudo. (P03)
Para outros professores, no entanto, a falta de confiança na avaliação vinha da insegurança em relação à compreensão das capacidades da tecnologia: Espero ainda estar à frente nesse aspeto, mas quem sabe? Quem sabe? (A08). O mesmo professor discutiu possíveis alternativas, mas considerou-as insatisfatórias: algumas pessoas sugeriram que eu fizesse exames orais. Bem, se eu fizesse isso, simplesmente, não teria nenhum aluno se fosse incluído como obrigatório o exame oral nas nossas provas, e então…” (A08).
A projetar limites individuais
Um estudante (P03) disse-nos que “é realmente difícil, porque pode ser usado de uma forma que depende muito de cada um de nós o quanto vai usá-la”. Por motivos semelhantes, os estudantes frequentemente apresentaram o seu próprio raciocínio sobre onde o limite deveria estar:
Não há, tipo, nenhuma diretriz clara sobre o que é apropriado e o que não é. É apenas uma questão de usar com discernimento e de forma apropriada, de acordo com o que você acha que deve ser apropriado.” (P01)
As opiniões dos estudantes, no entanto, divergiam sobre o que eles consideravam apropriado. Para alguns, isso baseava-se no conceito de compreensão: “Eu, pessoalmente, acho que se cada um de nós utilizar a IA generativa para nos ajudar a entender o assunto, tudo bem, porque, se pensarmos bem, isso não é muito diferente de fazer a nossa própria pesquisa.” (P07) Outros estudantes pensavam de forma semelhante; o estudante 10 afirmou:
Suponha que não entendemos um tópico, mas o ChatGPT dá um exemplo muito bom e, então, a partir daí passámos a entender o tópico — isso é benéfico para quem estuda.
Outros concentraram-se mais nos resultados, dizendo, por exemplo, que “para mim, pessoalmente, [aceitável significa] não copiar diretamente do ChatGPT” (P13). Vários estudantes focaram-se mais nos potenciais aspetos negativos a serem evitados do que nos ganhos a serem alcançados, com um a afirmar que os alunos deveriam ser ensinados a usá-lo de forma que não se tornem superdependentes dele” (P16). Alguns estudantes apresentaram raciocínios mais complexos, muitas vezes voltados para a integridade académica, por detrás do uso da ferramenta, como o (P17), que afirmou:
Acho que interagir com o Chatbot me faz realmente pensar em conluio, por causa da forma como ele fala, como se fosse dotado de sensibilidade, como se seja dotado de consciência. E, por isso, parece um conluio conversar com ele, o que não é verdade, porque ele na verdade não está a expressar nenhum pensamento, nenhuma opinião própria, mas sim…por causa desta impressão de conluio, tenho tendência a interagir com ele como se fosse uma outra pessoa. Então, se eu não vou pedir a nenhuma pessoa para me escrever o texto porque razão é que pediria ao ChatGPT4 para o fazer. Então, acho que foi assim que eu estabeleci os limites que tenho para com ele. (P17)
Alguns professores pensaram de forma semelhante:
“Sinto que é definitivamente aceitável usá-lo de algumas maneiras, como para obter ideias sobre estruturas de tarefas. Talvez reescrever de uma forma mais bonita o que eles disseram — isso talvez entre um pouco na zona cinzenta, mas ainda é aceitável. Bem, acho que é uma escala deslizante, enquanto que eu ficaria desconfortável se eles estivessem tendo grandes trechos [da tarefa de avaliação do aluno] escritos sem realmente fazerem leituras ou considerarem o material com muito cuidado. Eu veria isso como semelhante a pagar alguém para escrever o seu ensaio. Você não aprende o conteúdo. Você está a ir para o mundo como um profissional e não conhece realmente o material.” (A10)
Quando os professores discutiram sobre a forma como se comunicam com seus alunos sobre o uso apropriado de IA, muitos explicitaram no documento final entregue o seguinte:
Nós realçamos sempre que o trabalho apresentado precisa de ser um trabalho pessoal […] como se eu fizesse uma pergunta e dissesse: você pode responder isso por mim, isso dar-me-á uma resposta. Mas se eu copiar e colar isso diretamente no meu trabalho, é agora, é agora uma forma de plágio, porque não é algo que eu tenha produzido, ou [no] mínimo, não é o meu próprio trabalho. E então, eu diria que é um uso inadequado do chat GPT e nós deixamos isso claro. Quaisquer que sejam as ferramentas que você use, deve ser o teu trabalho e o teu trabalho não pode ser apenas o Controle C Controle V [copiar colar].
Quando os estudantes discutiram os conselhos fornecidos pelos seus professores, faz sentido que o conselho mais comum que receberam tenha sido: “Certifique-se de não copiar e colar”. (P01) No entanto, o que isso realmente significava era difícil de colocar em prática para os alunos. Um estudante (P18) afirmou que procurou o coordenador da unidade para saber como usar a IA generativa (GenAI) e que este lhe respondeu : “pode utilizar a IA para aprender mas não copiem e colem nos vossos trabalhos o que veem”. O estudante achou esse conselho “bem óbvio” e pouco útil. Quando conversou sobre esse conselho com “muitas pessoas que são amigas… de diferentes faculdades”, percebeu que “elas tinham medo de utilizar a GenAI [porque] isso acabaria por ser considerado plágio, mesmo que estivessem apenas a utilizar a IA para aprender”. O mesmo estudante aprofundou essa questão, afirmando:
[O] que os coordenadores de curso fazem agora é encorajar o estudante a usar IA generativa, mas não dizem como. … isso pode significar muitas coisas diferentes para diferentes estudantes [e] realmente pode esbater a linha entre integridade académica e o uso criativo da ferramenta. (P18)
Os professores disseram-nos que consideravam difícil identificar como traçar um limite aceitável: Não acho que seja possível dizer a um estudante que ele só pode usar o ChatGPT para preparação e planeamento, e depois de chegado a este ponto, deveriam abandonar a IA e retomar o seu trabalho criativo. Isso não faz o menor sentido. Onde está a linha de demarcação? É um limite absurdo. (A02)
Ao tentar entender essa linha de utilização da IA, é claro que preocupações ligadas à integridade académica claramente estão na base da utilização da IA em muitos casos: Um estudante (P01) disse-nos:
Eu sei que a universidade divulgou muitas diretrizes e muitos avisos para os estudantes dizendo que é preciso ter muito cuidado ao usar inteligência artificial generativa. Então, eu utilizei estes avisos e diretrizes, acho que, como material para revisão de texto ou apenas para ter um ponto de partida num trabalho. Por exemplo, se estou bloqueado em ideias e não sei como abordar um parágrafo, eu colocaria isso no ChatGPT e perguntaria algo como: “Como poderia eu explicar esse conceito de ética, ou talvez de cirurgia médica, ou algo assim?”, e então o ChatGPT dar-me-ia um ou dois parágrafos, e daí eu tiraria inspiração e pegaria em algumas palavras, mas nunca usaria diretamente o conteúdo gerado, porque fico sempre preocupado que isso possa ser considerado plágio. (P01)
Vários estudantes comentaram de forma semelhante. Por exemplo, o participante P17 afirmou: “Eu estava muito hesitante e inseguro porque, antes de tudo, não queria fazer nada demasiado próximo do meu projeto, porque não sei como a IA se enquadra nisso, se isso seria considerado plágio e trapaça”. O participante P01 também afirmou que a sua própria utilização foi “um pouco mais cautelosa, no começo, justamente por causa de toda essa questão de plágio e da integridade académica que lhes estão associados”.
Vários estudantes acreditavam que havia um risco real de outros alunos usarem intencionalmente a IA generativa (GenAI) para colar ou com propósitos desonestos. Alguns estudantes, no entanto, atribuíram esse risco de plágio não à tecnologia em si, mas explicitamente à falta de diretrizes claras sobre a sua utilização: “se os alunos não forem bem ensinados a usá-la, acho que há um risco de copiar e plágio” (P01). Outros expressaram sentimentos semelhantes, afirmando que é importante definir e comunicar claramente “quais são os limites da universidade em relação à IA. Porque eu não sei, eu simplesmente… não sei. Eu odiaria que alguém fosse punido por usá-la, simplesmente por não saber” (P17). Os professores tinham visões semelhantes. O participante A01, por exemplo, afirmou que “sem nenhuma orientação, os alunos vão acabar por utilizar a ferramenta da maneira errada”.
Conceber limites é um trabalho muito difícil
Embora pareça provável que questões sobre a “linha” de demarcação tenham aumentado a carga de trabalho dos alunos, pelo menos em termos de carga cognitiva, os professores são ainda mais evidentemente sobrecarregados pelo desafio de encontrar ou desenhar um linha apropriada. Um professor, por exemplo, disse-nos:
“Se quiser saber, digamos, onde está a resposta preto no branco, como é que na verdade vamos lidar com isso, eu… nós não temos nenhuma resposta a dar. Não existe. O que eu gostaria é que houvesse alguma diretriz sobre o assunto. Tive que fazer isso sozinho. E embora eu tenha gostado e até ganhado um pouco de notoriedade por isso, isso deu cabo de mim, na verdade. Acabou comigo, estou completamente exausto este ano.” (A08)
O professor então continuou a explicar os tipos de “respostas preto no branco” de que andava à procura :
Gostaria de ter o apoio da universidade e dizerem-me: ‘você não precisa… mantenha os seus exames tais quais como os concebeu, sabe, não precisa de mudar nada, não precisa de os reescrever’. Eu nem consigo dizer quantos exames terei de reescrever. Quer dizer, é simplesmente… é inacreditável pensar que terei que fazer tudo isso, mas é assim. (A08)
Outros professores fizeram declarações semelhantes sobre as dificuldades pessoais — até mesmo traumas — que a tentativa de definir essa linha lhes causou :
Tive muitos traumas éticos este ano porque ensinava essa unidade desde 2011. Do meu ponto de vista, acho que há uma enorme quantidade de estudantes que já estão a utilizar a IA. (A02)
Em particular, esse professor achou o processo de avaliação o mais problemático: “Estive muito ansioso durante todo o ano a corrigir. Estive a duvidar de mim mesmo”. (A02). Outro professor (A03) também nos disse que a questão foi “extremamente dolorosa para mim”. Para este professor, ele considerou que :
“Eu não tinha ninguém a quem recorrer, e conversei com pessoas do departamento, e havia pessoas que frequentemente falavam sobre IA, mas, sabe, era como se não houvesse um fórum real onde pudéssemos, como equipa, expor esse tipo de questão.” (A03)
Embora, obviamente, a mudança na avaliação seja uma tarefa exigente de várias maneiras, este professor expressou o desafio explicitamente em termos de carga de trabalho, afirmando que “Onde está a carga de trabalho e todo esse reconhecimento que lhe deveria estar associado? Simplesmente, não existe nenhum”. Esse mesmo professor havia tirado uma licença sem vencimento de longa duração do ensino e, quando chegou a hora de voltar, a falta de respostas para essas questões obrigou-o a perguntar-se:
“Será que eu realmente o que quero é voltar ao sistema de ensino superior, onde tudo se passa como se estejamos numa maldita fábrica de exploração intensa? Será? Não sei, sei que não há fim para os desafios que estamos a enfrentar .” (A08)
Embora alguns professores estivessem a olhar diretamente para a instituição deles para suprir uma lacuna, outros duvidavam que qualquer solução real pudesse ser oferecida de forma universal:
Quero dizer, poderia haver limites ou alguma educação fornecida, digamos, no módulo de integridade académica, mas aí eu acho que cada curso teria que ter as suas próprias diretrizes baseadas em como eles vão realmente utilizar a IA o ou como querem que os seus estudantes a utilizem. Isto , porque a forma como alguns cursos podem utilizar a IA pode ser muito diferente da forma como outro curso pode querer utilizá-la. Então, eu acho que uma abordagem única para todos não serviria.” (A11)
Outros professores articularam isso explicitamente como um dever deles enquanto professores:
É minha responsabilidade como educador, se o meu exame puder ser respondido por uma IA, se for um exame de livro aberto, não fiz a minha devida diligência como educador para adaptar o meu exame ao conhecimento único da unidade e ao que os alunos estão a aprender. Então, se o meu exame, você sabe se você pode obter uma HD [alta distinção] conectando-o ao chat GPT, esse é o meu problema. (A05)
Os estudantes não eram ingénuos quanto aos desafios de traçar limites. Como um estudante nos disse: Acho que, com as diretrizes, pode ser um pouco difícil, porque cada unidade é diferente e também depende do que o estudante produz por conta própria. (P07). Essa questão da personalização surgiu repetidamente, inclusive no contexto da necessidade contínua de políticas institucionais. Por exemplo, (P11) disse-nos:
Tem que haver um conjunto genérico de diretrizes, pelo menos para começar, e depois, dentro de nichos específicos e disciplinas específicas, pode haver outras coisas — especialmente no direito, há muitas políticas que precisam estar presentes, há muitas preocupações, por exemplo, preocupações com privacidade, que entram aqui em cena. Então, para o direito, talvez para algumas disciplinas de nicho, é preciso impor restrições adicionais. Mas é necessário haver diretrizes genéricas que se apliquem a toda a base estudantil.
O estudante (P05) afirmou: “Eu sei que algumas instituições simplesmente têm uma política totalmente contra a utilização de IA, mas, quero dizer, elas não conseguem controlar isso. Isso é só um sonho impossível, sabe? Essa visão parece estar de acordo com a forma como um outro estudante compreende a política institucional da sua universidade, afirmando que “a nova política que a sua Universidade adotou sobre a utilização de IA é algo bem geral, dizendo algo como ‘bem, não podemos impedir-te, mas não te recomendamos’” (P09). Outros estudantes compartilharam pontos de vista semelhantes, por exemplo: “mesmo que existam políticas sobre isso no código de integridade acadêmica da sua Universidade , acho que isso realmente não impede ninguém de fazer algo, se essa pessoa realmente o quiser fazer” (P07).
Os professores também compartilharam pontos de vista semelhantes, especialmente sobre o sucesso de qualquer estratégia voltada para proibir o uso da tecnologia: “proibir é asneira e não vai funcionar” (A05). Ecoando os pensamentos dos alunos acima mencionados, outros professores comentaram que “podemos ter várias ideias interessantes sobre, sabe, o leitor não pode usar, sabe, IA neste trabalho, mas nós não temos controle sobre isso” (A10). Outros professores expressaram ideias semelhantes, mas baseadas na lógica da missão da universidade:
Se o professor adotar tolerância zero e disser não, não vamos adotar e não vamos incentivar os alunos a usar. Então, corre-se o risco de formar uma geração de estudantes que não teve o benefício de aceder à tecnologia, o que significa que esses alunos estarão em clara desvantagem no mercado de trabalho, o que significa que a marca da universidade vai sofrer (A04).
Para este participante, e para muitos outros em todos os dados, havia a necessidade de estabelecer um limite que não apenas permitisse o uso da IA, mas também incluísse instrução e orientação para educar os estudantes de maneira adequada ao mundo em que ingressariam após a obtenção do diploma.
(continua)
Os autores
Thomas Corbin é investigador no centro de Investigação em Avaliação e Aprendizagem Digital (CRADLE) na Universidade de Deakin (Austrália). A sua investigação concentra-se em GenAI, avaliação e filosofia da educação.
Phillip Dawson é professor e codiretor do centro de Investigação em Avaliação e Aprendizagem Digital (CRADLE) na Universidade de Deakin (Austrália). A sua investigação concentra-se em avaliação, feedback e trapaça.
Kelli Nicola-Richmond é professora associada e Diretora Associada da Escola, Ensino e aprendizagem da Escola de Saúde e Desenvolvimento Social na Universidade de Deakin (Austrália). A sua investigação centra-se no julgamento avaliativo, nos exames e trapaça, longo COVID e mau desempenho do aluno e falha no estágio clínico.
Helen Partridge é professora e pró-Vice-Reitora de ensino e aprendizagem na Universidade de Deakin (Austrália). A sua investigação centra-se na interacção entre Informação, Tecnologia e aprendizagem.